人工智能领域常见名词解释

共计 2118 个字符，预计需要花费 6 分钟才能阅读完成。

常见名词

Tokenization

人工智能领域的 Tokenization 是指将输入的文本分割成一个个最小的语义单元，也叫做 token 或者词元 ^[1]。这是为了方便后续的数据处理和模型计算。不同的语言和任务可能需要不同的 Tokenization 方法，比如英文可以按照空格来分割单词，中文则需要用一些分词算法来划分词语。Tokenization 的难点是如何平衡词表的大小和语义的表达能力，以及如何处理生僻词和歧义问题 ^[2]。目前有三种主流的 Tokenization 方法，分别是基于词粒度、基于字符粒度和基于子词粒度的方法 ^[3]。

P-Tuning

P-Tuning 是一种用于提升超大规模语言模型下游能力的方法，它通过使用连续的向量来替换离散的 token，构建一个可训练的模板，然后利用少量的标注数据来优化模板的参数。这样可以发现更适合下游任务的模板，而不受语言模型词表的限制。P-Tuning 在 SuperGLUE 等 NLU 任务上取得了很好的效果，甚至超过了同等级别的 BERT 模型 ^[4][5]。

Fine-Tuning

Fine-Tuning 是一种迁移学习的方法，它指的是在一个预训练的模型的基础上，对模型的部分或全部参数进行微调，以适应新的任务或数据集。Fine-Tuning 可以利用预训练模型已经学习到的知识和特征，提高模型的性能和泛化能力。Fine-Tuning 的难点是如何选择合适的层和参数进行微调，以及如何避免过拟合或欠拟合。Fine-Tuning 在图像分类、自然语言处理等领域都有广泛的应用 ^[6][7][8]。

Transformer

Transformer 是一种基于自注意力机制的神经网络模型，它可以用于机器翻译、文本生成、语言理解等自然语言处理任务。Transformer 不使用传统的循环神经网络或卷积神经网络，而是完全依赖自注意力来计算输入和输出的表示。Transformer 由编码器和解码器两部分组成，每部分包含多个模块，每个模块又包含多头自注意力、前馈神经网络、残差连接和层归一化等组件。Transformer 在 2017 年由论文《Attention is All You Need》提出，开创了自然语言处理的新时代 ^{[9][10][11][12]}。

Pretraining

Pretraining 是一种机器学习的方法，指的是先用一个大规模的数据集或任务来训练一个模型，然后用这个模型的参数或部分参数来初始化另一个模型，以提高后者在新的数据集或任务上的性能。Pretraining 可以利用已有的知识和特征，加速模型的收敛，提高模型的泛化能力，节省计算资源。Pretraining 常用于深度学习领域，尤其是自然语言处理和计算机视觉领域 ^[13][14][15]。

pipeline

人工智能领域的 pipeline 是指将一个人工智能任务分解为多个步骤，并将这些步骤按照一定的顺序连接起来，形成一个自动化的流程。pipeline 的目的是简化和优化人工智能的开发和部署，提高效率和性能 ^[16][17]。

人工智能领域的 pipeline 一般包括以下几个步骤：

• 数据准备（Data Preparation）：收集、清理、标注和划分数据，使其适合后续的处理和分析。
• 特征工程（Feature Engineering）：从原始数据中提取、选择、构造和提取有用的特征，增强数据的表达能力和可区分性。
• 模型生成（Model Generation）：选择或搜索合适的模型结构，并设置或优化模型的超参数，如学习率、批量大小等。
• 模型评估（Model Evaluation）：使用测试数据或其他指标来评估模型的性能和泛化能力，如准确率、召回率、F1 值等。
• 模型部署（Model Deployment）：将训练好的模型部署到实际的应用场景中，如云端、边缘设备等，并进行监控和更新。

资料推荐

1. NLP 领域中的 token 和 tokenization 到底指的是什么？
2. NLP 中的 Tokenization.
3. 6 种 Tokenization 的独特方法 .
4. P-tuning：自动构建模版，释放语言模型潜能.
5. GitHub – THUDM/P-tuning: A novel method to tune language.
6. Fine-tune a pretrained model – Hugging Face.
7. Transfer learning and fine-tuning | TensorFlow Core.
8. Fine-tuning 是什么意思？
9. Transformer 模型详解（图解最完整版）
10. Transformer – Wikipedia.
11. Transformer – Definition, Types, Working Principle, Diagram.
12. 详解 Transformer（Attention Is All You Need）
13. What Does Pre-training a Neural Network Mean? – Baeldung.
14. 预训练（pre-training/trained）和微调（fine-tuning）
15. 使用 Pre-training 的方法與時機 | by Jia-Yau Shiau | 軟體之心 ….
16. 机器学习 tips：什么是 pipeline？
17. AI 综述专栏 | AutoML 自动机器学习：最新进展综述.